In een akte van 1387 was er al sprake van het Braemkasteel als burcht gebouwd door Hughe Braem en Isabelle Van Halewijn. Braem was een rijke en vooraanstaande patriciërsfamilie uit Gent en omstreken.
Gezien zijn ligging aan de Rietgracht was het een belangrijke verdedigingsgordel van de stad Gent in geval van belegering. In het begin van de 17de eeuw hoorde het kasteel toe aan de hoogbaljuw van Vlaanderen, met name de heer Gilles du Faing, baron van Jumoigne. In de 18de eeuw veranderde het Braemkasteel regelmatig van eigenaar, meestal door openbaar verkoop of schenkingen. In 1801 komt het Braemkasteel in bezit van Pierre Maria Regis du Rot, die het park vergrootte en het kasteel geheel liet weder opbouwen zodanig dat het oorspronkelijk rechthoekig slot zijn huidige haast vierkante plattegrond verkreeg. In 1903 liet de toenmalige eigenaar, de familie Groverman de la Kethule, onder leiding van architect S. Mortier nogmaals veranderingen uitvoeren.
In 1946 werd het door de gemeente Gentbrugge aangekocht als gemeentehuis. Het bijhorende park heeft trouwens nog altijd de naam, Toch parkje, genoemd naar de toenmalige burgemeester, Frans Toch, die besloot het domein aan te kopen. Inmiddels heeft de muziekacademie een onderkomen gevonden in het kasteel.